源代码的表示学习对于将机器学习应用于软件工程任务至关重要。已经显示,跨不同编程语言的学习代码表示比从单语言数据集中学习更有效,因为来自多语言数据集的更多培训数据可提高该模型从源代码中提取语言 - 不平衡信息的能力。但是,现有的多语言模型忽略了特定于语言的信息,这对于在多语言数据集中培训的下游任务至关重要,同时仅着眼于学习不同语言之间的共享参数。为了解决这个问题,我们提出了MetatPtrans,这是一种用于多语言代码表示学习的元学习方法。 MetAtPtrans根据输入源代码段的特定编程语言为特征提取器生成不同的参数,从而使模型能够同时学习语言 - 语言和特定于语言的信息。实验结果表明,MetAtPtrans可将最新方法的F1得分显着提高到2.40个百分点,以汇总代码摘要,这是一项语言不可或缺的任务;以及TOP-1(TOP-5)的预测准确性高达7.32(13.15)百分点,以完成代码完成,这是一项特定于语言的任务。
translated by 谷歌翻译
Neural machine translation(NMT) has aroused wide attention due to its impressive quality. Beyond quality, controlling translation styles is also an important demand for many languages. Previous related studies mainly focus on controlling formality and gain some improvements. However, they still face two challenges. The first is the evaluation limitation. Style contains abundant information including lexis, syntax, etc. But only formality is well studied. The second is the heavy reliance on iterative fine-tuning when new styles are required. Correspondingly, this paper contributes in terms of the benchmark and approach. First, we re-visit this task and propose a multiway stylized machine translation (MSMT) benchmark, which includes multiple categories of styles in four language directions to push the boundary of this task. Second, we propose a method named style activation prompt (StyleAP) by retrieving prompts from stylized monolingual corpus, which needs no extra fine-tuning. Experiments show that StyleAP could effectively control the style of translation and achieve remarkable performance. All of our data and code are released at https://github.com/IvanWang0730/StyleAP.
translated by 谷歌翻译
对于头颈癌(HNC)患者管理,自动总肿瘤量(GTV)细分和准确的治疗前癌症复发预测对于协助医师设计个性化管理计划非常重要,这有可能改善治疗结果和治疗结果和HNC患者的生活质量。在本文中,我们基于HNC患者的组合预处理正电子发射断层扫描/计算机发射断层扫描(PET/CT)扫描,开发了一种自动原发性肿瘤(GTVP)和淋巴结(GTVN)分割方法。我们从分段的肿瘤体积中提取了放射素学特征,并构建了多模式肿瘤复发生存率(RFS)预测模型,该模型融合了预测由单独的CT放射线学,PET放射线学和临床模型融合在一起。我们进行了5倍的交叉验证,以训练和评估MICCAI 2022头和颈部肿瘤分割和结果预测挑战(Hecktor)数据集的方法。 GTVP和GTVN分割的测试队列的集合预测分别达到0.77和0.73,RFS预测的C-指数值为0.67。该代码公开可用(https://github.com/wangkaiwan/hecktor-2022-airt)。我们团队的名字叫艾特。
translated by 谷歌翻译
交通流量的技术预测在智能运输系统中起着重要作用。基于图形神经网络和注意机制,大多数先前的作品都利用变压器结构来发现时空依赖性和动态关系。但是,他们尚未彻底考虑时空序列之间的相关信息。在本文中,基于最大信息系数,我们提出了两种详尽的时空表示,空间相关信息(SCORR)和时间相关信息(TCORR)。使用SCORR,我们提出了一个基于相关信息的时空网络(CORRSTN),该网络包括一个动态图神经网络组件,可有效地将相关信息整合到空间结构中,以及一个多头注意力组件,以准确地对动态时间依赖性进行建模。利用TCORR,我们探索了不同周期数据之间的相关模式,以识别最相关的数据,然后设计有效的数据选择方案以进一步增强模型性能。公路交通流量(PEMS07和PEMS08)和地铁人群流(HZME流入和流出)数据集的实验结果表明,Corrstn在预测性能方面表现出了最先进的方法。特别是,在HZME(流出)数据集上,与ASTGNN模型相比,我们的模型在MAE,RMSE和MAPE的指标中分别提高了12.7%,14.4%和27.4%。
translated by 谷歌翻译
随着深度学习技术扩展到现实世界推荐任务,已经开发出许多深度神经网络的协作滤波(CF)模型基于各种神经结构,例如多层的神经架构将用户项目交互项目投影到潜伏特征空间中Perceptron,自动编码器和图形神经网络。然而,大多数现有的协作过滤系统不充分设计用于处理缺失的数据。特别是,为了在训练阶段注入负信号,这些解决方案很大程度上依赖于未观察到的用户项交互,并且简单地将它们视为负实例,这带来了推荐性能下降。为了解决问题,我们开发了一个协作反射增强的AutoEncoder网络(Cranet),它能够探索从观察到和未观察的用户项交互的可转移知识。 Cranet的网络架构由具有反射接收器网络的集成结构和信息融合自动统计器模块形成,其推荐框架具有在互动和非互动项目上编码隐式用户的成对偏好的能力。另外,基于参数正规化的捆绑重量方案旨在对两级颅骨模型进行鲁棒联合训练。我们终于在对应于两个推荐任务的四个不同基准数据集上进行了实验验证了Cranet,以表明,与各种最先进的推荐技术相比,脱叠用户项交互的负信号提高了性能。我们的源代码可在https://github.com/akaxlh/cranet上获得。
translated by 谷歌翻译
Nesterov的加速梯度法(NAG)广泛用于包括深度学习的机器学习背景的问题,并且对应于连续时间微分方程。从这种连接中,可以研究微分方程及其数值近似的性质以改善加速梯度法。在这项工作中,我们在通过数值分析的启发的稳定性方面提出了新的NAG。我们将NAG的精确顺序作为其连续时间限制的数值近似,然后呈现更高阶的新方法。我们从理论上展示了我们的新方法比大的步长更稳定。矩阵完成和手写数字识别的实验表明,我们的新方法的稳定性更好。此外,更好的稳定性导致实验中的更高的计算速度。
translated by 谷歌翻译